# mysql 中InnoDB 架构详解

InnoDB 逻辑存储结构 iamge

InnoDB 基本架构图 image

# 1 内存架构

内存结构主要分为四大块: Buffer Pool、Change Buffer、AdaptiveHash Index、Log Buffer

# 1.1 Buffer Pool(缓冲区)
    1. InnoDB存储引擎基于磁盘文件存储,访问物理硬盘和在内存中进行访问,速度相差很大,为了尽可能弥补这两者之间的I/O效率的差值,就需要把经常使用的数据加载到缓冲池中,避免每次访问都进行磁盘I/O。
A) 缓冲池 Buffer Pool,是主内存中的一个区域,里面可以缓存磁盘上经常操作的真实数据,在执行增删改查操作时,先操作缓冲池中的数据(若缓冲池没有数据,则从磁盘加载并缓存),然后再以一定频率刷新到磁盘,从而减少磁盘IO,加快处理速度。
如果没有缓冲池,就意味着我们每次增删查改都需要访问数据库,那么就会存在大量的磁盘IO,而且在业务比较复杂的情况下,这种磁盘IO还都是随机IO,是非常耗费性能的。

B) 在InnoDB的缓冲池中不仅缓存了索引页和数据页,还包含了undo页、插入缓存、自适应哈希索引以及InnoDB的锁信息等等。
1
2
3
4
    1. 缓冲池以Page页为单位,底层采用链表数据结构管理Page。根据状态,将Page分为三种类型:
A) free page:空闲page,即已经申请到了的page,但从未使用过。
B) clean page:被使用page,数据没有被修改过。
C) dirty page:脏页,被使用page,数据被修改过,但是还没有刷新到磁盘中,页中数据与磁盘的数据不一致。
1
2
3
    1. 在专用服务器上,通常将多达80%的物理内存分配给缓冲池 。我们可以通过以下指令查看当前数据库中缓冲池的大小
mysql> show variables like 'innodb_buffer_pool_size';
+-------------------------+-----------+
| Variable_name           | Value     |
+-------------------------+-----------+
| innodb_buffer_pool_size | 134217728 |
+-------------------------+-----------+
1 row in set (0.00 sec)

1
2
3
4
5
6
7
8
# 1.2 Change Buffer

注意: 这个缓冲区是MySQL8.0之后才出现的

    1. change buffer 的概念
Change Buffer,更改缓冲区(针对于非唯一二级索引页,对主键索引或唯一索引不会操作更改缓冲区),在执行DML语句时,如果这些数据Page此时还没有缓存在Buffer Pool中,那么InnoDB引擎并不会先操作磁盘,而是会将DML语句造成的数据变更缓存在 Change Buffer中,
在未来这部分数据被读取并缓存在Buffer Pool之后,InnoDB引擎会通过Change Buffer中的变更记录去修改Buffer Pool中对应的数据(简称数据合并处理),再等待Buffer Pool的下一次刷新,将修改后的数据保存在磁盘中.
1
2
    1. Change Buffer的意义是什么呢?
我们知道二级索引(非聚集索引) 与聚集索引不同,二级索引通常是非唯一的,并且以相对随机的顺序插入二级索引,同样,删除和更新可能会影响索引树中不相邻的二级索引页,如果每一次DML都操作磁盘,就会造成大量的磁盘IO。
有了ChangeBuffer之后,我们可以在缓冲池中进行合并处理,减少磁盘IO,提高了效率。
1
2
# 1.3 AdaptiveHash Index

Adaptive Hash Index ,自适应hash索引,用于优化对Buffer Pool数据的查询

    1. AdaptiveHash Index 基本概念
MySQL的InnoDB引擎中虽然没有直接支持hash索引,但是给我们提供了自适应hash索引的功能。
hash索引在进行等值匹配时,一般性能是要高于B+树的,因为hash索引一般只需要一次IO即可,而B+树,可能需要几次匹配,所以hash索引的效率要高,但是hash索引又不适合做范围查询、模糊匹配等。

InnoDB存储引擎会监控对表上各索引页的查询,如果观察到在特定的条件下hash索引可以提升速度,则建立hash索引,称之为自适应hash索引。
1
2
3
4
    1. 自适应哈希索引,无需人工干预,是系统根据情况自动完成,以下方式查看
mysql> show variables like '%adaptive_hash_index';
+----------------------------+-------+
| Variable_name              | Value |
+----------------------------+-------+
| innodb_adaptive_hash_index | ON    |
+----------------------------+-------+
1 row in set (0.00 sec)
1
2
3
4
5
6
7
# 1.4 Log Buffer
    1. 什么是log buffer?
Log Buffer 日志缓冲区,用来保存要写入到磁盘中的log日志数据(redo log 、undo log),默认大小为 16MB,日志缓冲区的日志会定期刷新到磁盘中。
如果需要更新、插入或删除许多行的事务,增加日志缓冲区的大小可以节省磁盘 I/O。
1
2
    1. 查看相关参数
/*
与缓冲区有关的参数主要有以下两个:
    innodb_log_buffer_size:缓冲区大小

    innodb_flush_log_at_trx_commit:日志刷新到磁盘时机,取值主要包含以下三个:
        0:每秒将日志写入并刷新到磁盘一次。
        1:日志在每次事务提交时写入并刷新到磁盘,默认值。
        2:日志在每次事务提交后写入,并每秒刷新到磁盘一次。
*/

mysql> show variables like '%log_buffer%';
+------------------------+----------+
| Variable_name          | Value    |
+------------------------+----------+
| innodb_log_buffer_size | 16777216 |
+------------------------+----------+
1 row in set (0.01 sec)

mysql> show variables like '%flush_log%';
+--------------------------------+-------+
| Variable_name                  | Value |
+--------------------------------+-------+
| innodb_flush_log_at_timeout    | 1     |
| innodb_flush_log_at_trx_commit | 1     |
+--------------------------------+-------+
2 rows in set (0.00 sec)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

# 2 磁盘架构

# 2.1 System Tablespace
系统表空间是更改缓冲区的存储区域(这是在MySQL8.0之后重新规划的,在MySQL5.x版本中还包含InnoDB数据字典、undolog等),如果我们并未开启innodb_file_per_table选项(即每张表不具有自己独立的表空间)且创建表时并未使用通用表空间(通用表空间会在后文中讲解),那么系统表空间还会包含上述表和其索引数据。
1

我们可以通过参数innodb_data_file_path来查看系统表空间的相关信息

mysql> show variables like '%data_file%';
+----------------------------+------------------------+
| Variable_name              | Value                  |
+----------------------------+------------------------+
| innodb_data_file_path      | ibdata1:12M:autoextend |
| innodb_temp_data_file_path | ibtmp1:12M:autoextend  |
+----------------------------+------------------------+
2 rows in set (0.00 sec)
1
2
3
4
5
6
7
8

系统表空间的默认的文件名叫 ibdata1,默认大小为12M,我们可以通过以下指令进入mysql的文件存放路径,查看是否存在该文件

[root@iZ2ze58f53sxjm9z7mgn5xZ ~]# cd /var/lib/mysql

[root@iZ2ze58f53sxjm9z7mgn5xZ mysql]# ll ibdata1 
-rw-r----- 1 mysql mysql 12582912 Sep 14 21:07 ibdata1
1
2
3
4
# 2.2 File-Per-Table Tablespaces
/*
File-Per-Table Tablespaces,独立表空间文件,如果我们开启innodb_file_per_table开关(默认开启),则每创建一张InnoDB表都创建一个以’.ibd’结尾的表空间文件,这个表空间文件中会包含对应InnoDB表的数据和索引信息
*/

# 每一个ibd文件都对应着一张数据表,表空间文件的存放路径在/var/lib/mysql/数据库名
[root@iZ2ze58f53sxjm9z7mgn5xZ mysql]# cd my_test/
[root@iZ2ze58f53sxjm9z7mgn5xZ my_test]# ll
total 480
-rw-r----- 1 mysql mysql 114688 Sep 14 21:06 course.ibd
-rw-r----- 1 mysql mysql 114688 Sep 14 19:43 student.ibd
-rw-r----- 1 mysql mysql 147456 Sep 14 19:43 student_course.ibd
-rw-r----- 1 mysql mysql 114688 Sep 14 18:46 tb_user.ibd

1
2
3
4
5
6
7
8
9
10
11
12
13
# 2.3 General Tablespaces
/*
General Tablespaces,通用表空间,我们可以将一些表的数据存放在通用表空间中,统一存储,方便管理。通用表空间需要我们手动创建,在创建表时,可以手动指定表空间作为数据存放位置.
*/

/* 
具体语法如下:
    CREATE TABLESPACE 表空间名 ADD DATAFILE '文件名' ENGINE = 存储引擎名;

    CREATE TABLE 表名(建表语句) TABLESPACE 表空间名;
*/

-- case 
-- 创建表空间
mysql> create tablespace my_table_space add datafile 'my_table_space.ibd' engine=innodb;
Query OK, 0 rows affected (0.01 sec)

-- 在创建表时手动指定表空间
mysql> create table tb_test(id int primary key auto_increment,name varchar(128)) tablespace my_table_space;
Query OK, 0 rows affected (0.00 sec)

/*
此时再次进入/var/lib/mysql
[root@iZ2ze58f53sxjm9z7mgn5xZ mysql]# ll 
-rw-r----- 1 mysql mysql   114688 Sep 15 13:25  my_table_space.ibd
*/

-- 将其他表空间中的表移动到 file_per_table 表空间:
mysql> alter table $table_name tablespace=my_table_space;

-- 删除表空间
-- DROP [UNDO] TABLESPACE tablespace_name [ENGINE [=] engine_name]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
# 2.4 undo Tablespaces
撤销表空间,MySQL实例在初始化时会自动创建两个默认的undo表空间(初始大小16M),用于存储undo log日志。
1
# 2.5 Temporary Tablespaces
InnoDB 使用会话临时表空间和全局临时表空间。存储用户创建的临时表等数据。
1
# 2.6 Doublewrite Buffer Files
双写缓冲区,innoDB引擎将数据页从Buffer Pool刷新到磁盘前,先将数据页写入双写缓冲区文件中,便于系统异常时恢复数据。
1
# 2.7 Redo Log
/*
重做日志,是用来实现事务的持久性。该日志文件由两部分组成:重做日志缓冲(redo log buffer)以及重做日志文件(redo log),
前者是在内存中,后者在磁盘中。当事务提交之后会把所有修改信息都会存到该日志中,如果刷新脏页到磁盘时发生了错误, 那么就会利用redolog进行数据恢复使用.


InooDB会将日志会以循环方式写入Redo Log,涉及两个文件:
[root@iZ2ze58f53sxjm9z7mgn5xZ mysql]# ll /var/lib/mysql
-rw-r----- 1 mysql mysql 16777216 Sep 15 13:25  undo_001
-rw-r----- 1 mysql mysql 16777216 Sep 15 13:25  undo_002
*/
1
2
3
4
5
6
7
8
9
10

# 3 后台线程

后台线程结构 image

后台线程的作用是负责将缓冲池中的数据刷新到磁盘文件中,
InnoDB的后台线程主要分为4类,分别是:
    1) Master Thread 
    2) IO Thread
    3) Purge Thread
    4) Page Cleaner Thread。
1
2
3
4
5
6
# 3.1 Master Thread
核心后台线程,负责调度其他线程,还负责将缓冲池中的数据异步刷新到磁盘中, 
保持数据的一致性,还包括脏页的刷新、合并插入缓存、undo页的回收 
1
2
# 3.2 IO Thread
/*
在InnoDB存储引擎中大量使用了AIO来处理IO请求, 这样可以极大地提高数据库的性能,而IOThread主要负责这些IO请求的回调。
*/

-- 可以通过以下的这条指令,查看到InnoDB的状态信息,其中就包含IO Thread信息

mysql> show engine innodb status\G;
...
FILE I/O
--------
I/O thread 0 state: waiting for completed aio requests (insert buffer thread)
I/O thread 1 state: waiting for completed aio requests (log thread)
I/O thread 2 state: waiting for completed aio requests (read thread)
I/O thread 3 state: waiting for completed aio requests (read thread)
I/O thread 4 state: waiting for completed aio requests (read thread)
I/O thread 5 state: waiting for completed aio requests (read thread)
I/O thread 6 state: waiting for completed aio requests (write thread)
I/O thread 7 state: waiting for completed aio requests (write thread)
I/O thread 8 state: waiting for completed aio requests (write thread)
I/O thread 9 state: waiting for completed aio requests (write thread)
...
...
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
线程类型 默认个数 职责
Read thread 4 负责读操作
Write thread 4 负责写操作
Log thread 1 负责将日志缓冲区刷新到磁盘
Insert buffer thread 1
# 3.3 Purge Thread
主要用于回收事务已经提交了的undo log,在事务提交之后,undo log可能不用了,就用它来回收。
1
# 3.4 Page Cleaner Thread
协助master thread 刷新脏页到磁盘的线程,它可以减轻master thread的工作压力,减少阻塞。
1
Last Updated: 5/5/2023, 2:33:10 AM